<html>
 <head>
  <meta charset="utf-8"/>
  <meta content="width=device-width, initial-scale=1, maximum-scale=1, user-scalable=no" name="viewport"/>
  <title>
   HuJiangtang: 分类模型的性能评估——以SAS Logistic回归为例(2): ROC和AUC  | 数螺 | NAUT IDEA
  </title>
  <link href="http://cdn.bootcss.com/bootstrap/3.3.6/css/bootstrap-theme.min.css" rel="stylesheet"/>
  <link href="http://cdn.bootcss.com/bootstrap/3.3.6/css/bootstrap.min.css" rel="stylesheet"/>
  <style type="text/css">
   #xmain img {
                  max-width: 100%;
                  display: block;
                  margin-top: 10px;
                  margin-bottom: 10px;
                }

                #xmain p {
                    line-height:150%;
                    font-size: 16px;
                    margin-top: 20px;
                }

                #xmain h2 {
                    font-size: 24px;
                }

                #xmain h3 {
                    font-size: 20px;
                }

                #xmain h4 {
                    font-size: 18px;
                }


                .header {
	           background-color: #0099ff;
	           color: #ffffff;
	           margin-bottom: 20px;
	        }

	        .header p {
                  margin: 0px;
                  padding: 10px 0;
                  display: inline-block;  
                  vertical-align: middle;
                  font-size: 16px;
               }

               .header a {
                 color: white;
               }

              .header img {
                 height: 25px;
              }
  </style>
  <script src="http://cdn.bootcss.com/jquery/3.0.0/jquery.min.js">
  </script>
  <script src="http://cdn.mathjax.org/mathjax/latest/MathJax.js?config=TeX-AMS-MML_HTMLorMML" type="text/javascript">
   MathJax.Hub.Config({
          tex2jax: {inlineMath: [['$','$'], ['\\(','\\)']]},
          TeX: {equationNumbers: {autoNumber: "AMS"}}
        });
  </script>
  <script src="http://nautstatic-10007657.file.myqcloud.com/static/css/readability.min.js" type="text/javascript">
  </script>
  <script type="text/javascript">
   $(document).ready(function() {
                 var loc = document.location;
                 var uri = {
                  spec: "http://cos.name/2008/12/measure-classification-model-performance-roc-auc/",
                  host: "http://cos.name",
                  prePath: "http://cos.name",
                  scheme: "http",
                  pathBase: "http://cos.name/"
                 };
    
                 var documentClone = document.cloneNode(true);
                 var article = new Readability(uri, documentClone).parse();
     
                 document.getElementById("xmain").innerHTML = article.content;
                });
  </script>
  <!-- 1466441673: Accept with keywords: (title(0.5):门户网站,模型,分类,性能,统计学,服务平台,中国,回归, topn(0.5):概率,分类器,统计学,R语言,偏离,接受者,数据挖掘,后验,阈值,文章,模型,曲线,方法,性能,预测,覆盖率,回归,样本,矩阵,建模,度线,客户,正例,数据,分类,多谢,评论,论坛,一步到位,医学).-->
 </head>
 <body class="single single-post postid-587 single-format-standard sidebar" onload="">
  <div class="header">
   <div class="container">
    <div class="row">
     <div class="col-xs-6 col-sm-6 text-left">
      <a href="/databee">
       <img src="http://nautidea-10007657.cos.myqcloud.com/logo_white.png"/>
      </a>
      <a href="/databee">
       <p>
        数螺
       </p>
      </a>
     </div>
     <div class="hidden-xs col-sm-6 text-right">
      <p>
       致力于数据科学的推广和知识传播
      </p>
     </div>
    </div>
   </div>
  </div>
  <div class="container text-center">
   <h1>
    HuJiangtang: 分类模型的性能评估——以SAS Logistic回归为例(2): ROC和AUC
   </h1>
  </div>
  <div class="container" id="xmain">
   <div class="hfeed site" id="page">
    <header class="site-header" id="masthead" role="banner">
     <div id="cos-logo">
      <a href="http://cos.name/">
       <img src="http://cos.name/wp-content/themes/COS-kermesinus/images/headers/cos-logo.png"/>
      </a>
     </div>
     <div class="navbar" id="navbar">
      <nav class="navigation main-navigation" id="site-navigation" role="navigation">
       <h3 class="menu-toggle">
        菜单
       </h3>
       <a class="screen-reader-text skip-link" href="http://cos.name/2008/12/measure-classification-model-performance-roc-auc/#content" title="跳至内容">
        跳至内容
       </a>
       <div class="menu-%e6%88%91%e7%9a%84%e8%8f%9c%e5%8d%95-container">
        <ul class="nav-menu" id="menu-%e6%88%91%e7%9a%84%e8%8f%9c%e5%8d%95">
         <li class="menu-item menu-item-type-custom menu-item-object-custom menu-item-home menu-item-4746" id="menu-item-4746">
          <a href="http://cos.name">
           主页
          </a>
         </li>
         <li class="menu-item menu-item-type-custom menu-item-object-custom menu-item-has-children menu-item-8120" id="menu-item-8120">
          <a href="http://cos.name/cn">
           论坛
          </a>
          <ul class="sub-menu">
           <li class="menu-item menu-item-type-custom menu-item-object-custom menu-item-8124" id="menu-item-8124">
            <a href="http://cos.name/cn/wp-login.php?action=register">
             论坛注册
            </a>
           </li>
           <li class="menu-item menu-item-type-custom menu-item-object-custom menu-item-8125" id="menu-item-8125">
            <a href="http://cos.name/cn/wp-login.php">
             论坛登录
            </a>
           </li>
          </ul>
         </li>
         <li class="menu-item menu-item-type-post_type menu-item-object-page menu-item-8110" id="menu-item-8110">
          <a href="http://cos.name/books/">
           图书资料
          </a>
         </li>
         <li class="menu-item menu-item-type-custom menu-item-object-custom menu-item-8112" id="menu-item-8112">
          <a href="http://cos.name/videos">
           视频教程
          </a>
         </li>
         <li class="menu-item menu-item-type-custom menu-item-object-custom menu-item-8333" id="menu-item-8333">
          <a href="http://cos.name/salon/">
           统计沙龙
          </a>
         </li>
         <li class="menu-item menu-item-type-post_type menu-item-object-page menu-item-8111" id="menu-item-8111">
          <a href="http://cos.name/chinar/">
           R语言会议
          </a>
         </li>
         <li class="menu-item menu-item-type-post_type menu-item-object-page menu-item-8109" id="menu-item-8109">
          <a href="http://cos.name/training/">
           讲座与培训
          </a>
         </li>
         <li class="menu-item menu-item-type-custom menu-item-object-custom menu-item-8115" id="menu-item-8115">
          <a href="http://cos.name/cn/forum/comprehensive/job/">
           招聘信息
          </a>
         </li>
         <li class="menu-item menu-item-type-custom menu-item-object-custom menu-item-has-children menu-item-4780" id="menu-item-4780">
          <a href="http://cos.name/about">
           关于我们
          </a>
          <ul class="sub-menu">
           <li class="menu-item menu-item-type-custom menu-item-object-custom menu-item-8113" id="menu-item-8113">
            <a href="http://cos.name/2008/11/how-to-work-with-cos/">
             加入我们
            </a>
           </li>
           <li class="menu-item menu-item-type-custom menu-item-object-custom menu-item-8119" id="menu-item-8119">
            <a href="http://cos.name/donate/">
             赞助我们
            </a>
           </li>
           <li class="menu-item menu-item-type-custom menu-item-object-custom menu-item-8114" id="menu-item-8114">
            <a href="http://cos.name/cn/forum/26">
             项目合作
            </a>
           </li>
          </ul>
         </li>
        </ul>
       </div>
       <form action="http://cos.name/" class="search-form" method="get" role="search">
        <label>
         <span class="screen-reader-text">
          搜索：
         </span>
        </label>
       </form>
      </nav>
      <!-- #site-navigation -->
     </div>
     <!-- #navbar -->
    </header>
    <!-- #masthead -->
    <div class="site-main" id="main">
     <div class="content-area" id="primary">
      <div class="site-content" id="content" role="main">
       <article class="post-587 post type-post status-publish format-standard hentry category-dmml category-biostat category-graphics tag-auc tag-confusion-matrix tag-logistic tag-receiver-operating-characteristic-curve tag-roc tag-sas tag-sensitiveity tag-specificity tag-wilcoxon-mann-whitney tag-145 tag-150 tag-157 tag-144 tag-151 tag-149" id="post-587">
        <header class="entry-header">
         <h1 class="entry-title">
          分类模型的性能评估——以SAS Logistic回归为例(2): ROC和AUC
         </h1>
         <div class="entry-meta">
          <span class="date">
           <a href="http://cos.name/2008/12/measure-classification-model-performance-roc-auc/" rel="bookmark" title="链向分类模型的性能评估——以SAS Logistic回归为例(2): ROC和AUC的固定链接">
            <time class="entry-date" datetime="2008-12-31T13:09:43+00:00">
             2008/12/31
            </time>
           </a>
          </span>
          <span class="categories-links">
           <a href="http://cos.name/category/data/dmml/" rel="category tag">
            数据挖掘与机器学习
           </a>
           、
           <a href="http://cos.name/category/data/biostat/" rel="category tag">
            生物与医学统计
           </a>
           、
           <a href="http://cos.name/category/software/graphics/" rel="category tag">
            统计图形
           </a>
          </span>
          <span class="tags-links">
           <a href="http://cos.name/tag/auc/" rel="tag">
            AUC
           </a>
           、
           <a href="http://cos.name/tag/confusion-matrix/" rel="tag">
            Confusion Matrix
           </a>
           、
           <a href="http://cos.name/tag/logistic%e5%9b%9e%e5%bd%92/" rel="tag">
            Logistic回归
           </a>
           、
           <a href="http://cos.name/tag/receiver-operating-characteristic-curve/" rel="tag">
            Receiver Operating Characteristic Curve
           </a>
           、
           <a href="http://cos.name/tag/roc/" rel="tag">
            ROC
           </a>
           、
           <a href="http://cos.name/tag/sas/" rel="tag">
            SAS
           </a>
           、
           <a href="http://cos.name/tag/sensitiveity/" rel="tag">
            Sensitiveity
           </a>
           、
           <a href="http://cos.name/tag/specificity/" rel="tag">
            Specificity
           </a>
           、
           <a href="http://cos.name/tag/wilcoxon-mann-whitney/" rel="tag">
            Wilcoxon-Mann-Whitney
           </a>
           、
           <a href="http://cos.name/tag/%e5%88%86%e7%b1%bb%e6%a8%a1%e5%9e%8b/" rel="tag">
            分类模型
           </a>
           、
           <a href="http://cos.name/tag/%e5%91%bd%e4%b8%ad%e7%8e%87/" rel="tag">
            命中率
           </a>
           、
           <a href="http://cos.name/tag/%e6%8e%a5%e5%8f%97%e8%80%85%e6%93%8d%e4%bd%9c%e7%89%b9%e6%80%a7%e6%9b%b2%e7%ba%bf/" rel="tag">
            接受者操作特性曲线
           </a>
           、
           <a href="http://cos.name/tag/%e6%95%b0%e6%8d%ae%e6%8c%96%e6%8e%98/" rel="tag">
            数据挖掘
           </a>
           、
           <a href="http://cos.name/tag/%e6%b7%b7%e6%b7%86%e7%9f%a9%e9%98%b5/" rel="tag">
            混淆矩阵
           </a>
           、
           <a href="http://cos.name/tag/%e8%a6%86%e7%9b%96%e7%8e%87/" rel="tag">
            覆盖率
           </a>
          </span>
          <span class="author vcard">
           <a class="url fn n" href="http://cos.name/author/hujiangtang/" rel="author" title="查看所有由胡江堂发布的文章">
            胡江堂
           </a>
          </span>
         </div>
         <!-- .entry-meta -->
        </header>
        <!-- .entry-header -->
        <div class="entry-content">
         <p>
          <strong>
           ROC
          </strong>
         </p>
         <p>
          <a href="http://cos.name/2008/12/measure-classification-model-performance-confusion-matrix/">
           上回
          </a>
          我们提到，ROC曲线就是不同的阈值下，以下两个变量的组合（如果对Sensitivity和Specificity两个术语没有概念，不妨返回，
          <em>
           《
          </em>
          <a href="http://cos.name/2008/12/measure-classification-model-performance-confusion-matrix/">
           <em>
            分类模型的性能评估——以SAS Logistic回归为例(1): 混淆矩阵
           </em>
          </a>
          <em>
           》
          </em>
          ，强烈建议读者对着看）：
         </p>
         <blockquote>
          <p>
           Sensitivity（覆盖率，True Positive Rate）
          </p>
          <p>
           1-Specificity (Specificity, 负例的覆盖率，True Negative Rate)
          </p>
         </blockquote>
         <p>
          <span id="more-587">
          </span>
         </p>
         <p>
          二话不说，先把它画出来（以下脚本的主体是标红部分，数据集valid_roc，还是出自上面提到的
          <a href="http://cos.name/2008/12/measure-classification-model-performance-confusion-matrix/" target="_blank">
           那篇
          </a>
          ）：
         </p>
         <blockquote>
          <p>
           axis order=(
           <strong>
            0
           </strong>
           to
           <strong>
            1
           </strong>
           by
           <strong>
            .1
           </strong>
           ) label=none length=
           <strong>
            4
           </strong>
           in;
          </p>
          <p>
           symbol i=join v=none c=black;
          </p>
          <p>
           symbol2 i=join v=none c=black;
          </p>
          <p>
           <span style="color: #ff0000;">
            <strong>
             proc
            </strong>
            <strong>
             gplot
            </strong>
            data = valid_roc;
           </span>
          </p>
          <p>
           <span style="color: #ff0000;">
            plot _SENSIT_*_1MSPEC_ _1MSPEC_*_1MSPEC_
           </span>
          </p>
          <p>
           / overlay vaxis=axis haxis=axis;
          </p>
          <p>
           <strong>
            run
           </strong>
           ;
           <strong>
            quit
           </strong>
           ;
          </p>
         </blockquote>
         <p>
          <a href="http://cos.name/wp-content/uploads/2008/12/roc.png">
           <img src="http://cos.name/wp-content/uploads/2008/12/roc-thumb.png"/>
          </a>
         </p>
         <p>
          上图那条曲线就是ROC曲线，横轴是1-Specificity，纵轴是Sensitivity。
          <a href="http://cos.name/2008/12/measure-classification-model-performance-confusion-matrix/">
           以前
          </a>
          提到过，随着阈值的减小（更多的客户就会被归为正例），Sensitivity和1-Specificity也相应增加（也即Specificity相应减少），所以ROC呈递增态势（
          <em>
           至于
          </em>
          <em>
           ROC
          </em>
          <em>
           曲线凹向原点而非凸向原点，不知道有无直观的解释，不提
          </em>
          ）。那条45度线是作为参照（baseline model）出现的，就是说，ROC的好坏，乃是跟45度线相比的，怎么讲？
         </p>
         <p>
          回到以前，我们分析valid数据，知道有36.5%的bad客户（Actual Positive ）和63.5%的good客户(Actual Negative)。这两个概率是根据以往的数据计算出来的，可以叫做“先验概率”( prior probability)。后来，我们用logistic回归模型，再给每个客户算了一个bad的概率，这个概率是用模型加以修正的概率，叫做“后验概率”（Posterior Probability）。
         </p>
         <table border="0" cellpadding="2" cellspacing="0" width="609">
          <tbody>
           <tr>
            <td valign="top" width="48">
            </td>
            <td valign="top" width="45">
            </td>
            <td valign="top" width="189">
             预测
            </td>
            <td valign="top" width="179">
            </td>
            <td valign="top" width="146">
            </td>
           </tr>
           <tr>
            <td valign="top" width="50">
            </td>
            <td valign="top" width="46">
            </td>
            <td valign="top" width="189">
             1
            </td>
            <td valign="top" width="179">
             0
            </td>
            <td valign="top" width="146">
            </td>
           </tr>
           <tr>
            <td valign="top" width="50">
             实
            </td>
            <td valign="top" width="47">
             1
            </td>
            <td valign="top" width="189">
             <span style="color: #ff0000;">
              d
             </span>
             , True Positive
            </td>
            <td valign="top" width="179">
             c, False Negative
            </td>
            <td valign="top" width="146">
             c+d, Actual Positive
            </td>
           </tr>
           <tr>
            <td valign="top" width="50">
             际
            </td>
            <td valign="top" width="48">
             0
            </td>
            <td valign="top" width="189">
             b, False Positive
            </td>
            <td valign="top" width="179">
             a, True Negative
            </td>
            <td valign="top" width="146">
             a+b, Actual Negative
            </td>
           </tr>
           <tr>
            <td valign="top" width="50">
            </td>
            <td valign="top" width="49">
            </td>
            <td valign="top" width="189">
             b+d, Predicted Positive
            </td>
            <td valign="top" width="179">
             a+c, Predicted Negative
            </td>
            <td valign="top" width="147">
            </td>
           </tr>
          </tbody>
         </table>
         <p>
          如果不用模型，我们就根据原始数据的分布来指派，随机地把客户归为某个类别，那么，你得到的True Positive对False Positive之比，应该等于Actual Positive对Actual Negative之比（你做得跟样本分布一样好）——即，d/b=(c+d)/(a+b)，可以有(d/c+d)/(b/a+b)=1，而这正好是Sensitivity/(1-Specificity)。在不使用模型的情况下，Sensitivity和1-Specificity之比恒等于1，这就是45度线的来历。一个模型要有所提升，首先就应该比这个baseline表现要好。ROC曲线就是来评估模型比baseline好坏的一个著名图例。这个可能不够直观，但可以想想线性回归的baseline model：
         </p>
         <p>
          <a href="http://cos.name/wp-content/uploads/2008/12/clip-image003.jpg">
           <img src="http://cos.name/wp-content/uploads/2008/12/clip-image003-thumb.jpg"/>
          </a>
         </p>
         <p>
          如果不用模型，对因变量的最好估计就是样本的均值（上图水平红线）。绿线是回归线（模型），回归线与水平线之间的偏离，称作Explained Variability， 就是由模型解释了的变动，这个变动（在方差分析里，又称作model sum of squares, SSM）越大，模型表现就越好了（决定系数R-square标准）。同样的类比，ROC曲线与45度线偏离越大，模型的效果就越好。最好好到什么程度呢？
         </p>
         <p>
          在最好的情况下，Sensitivity为1（正确预测到的正例就刚好等于实际的正例总数），同时Specificity为1（正确预测到的负例个数就刚好等于实际的负例数），在上图中，就是左上方的点(0,1)。因此，ROC曲线越往左上方靠拢，Sensitivity和Specificity就越大，模型的预测效果就越好。同样的思路，你还可以解释为什么ROC曲线经过点(0,0)和(1.1)，不提。
         </p>
         <p>
          <strong>
           AUC, Area Under the ROC Curve
          </strong>
         </p>
         <p>
          ROC曲线是根据与45度线的偏离来判断模型好坏。图示的好处是直观，不足就是不够精确。到底好在哪里，好了多少？这就要涉及另一个术语，AUC(Area Under the ROC Curve，ROC曲线下的面积)，不过也不是新东西，只是ROC的一个派生而已。
         </p>
         <p>
          回到先前那张ROC曲线图。45度线下的面积是0.5，ROC曲线与它偏离越大，ROC曲线就越向左上方靠拢，它下面的面积(AUC)也就应该越大。我们就可以根据AUC的值与0.5相比，来评估一个分类模型的预测效果。
         </p>
         <p>
          SAS的Logistic回归能够后直接生成AUC值。跑完上面的模型，你可以在结果报告的Association Statistics找到一个叫c的指标，它就是AUC（本例中，c=AUC=0.803，45度线的c=0.5）。
         </p>
         <p>
          /*注：以上提到的c不是AUC里面那个’C’。这个c是一个叫
          <a href="http://en.wikipedia.org/wiki/Mann-Whitney_U">
           Wilcoxon-Mann-Whitney
          </a>
          检验的统计量。这个说来话长，不过这个c却等价于ROC曲线下的面积（AUC）。*/
         </p>
         <p>
          <strong>
           ROC、AUC：SAS9.2
          </strong>
          <strong>
           一步到位
          </strong>
          <strong>
          </strong>
         </p>
         <p>
          SAS9.2有个非常好的新功能，叫ODS Statistical Graphics，有兴趣可以
          <a href="http://support.sas.com/rnd/base/topics/statgraph/">
           去它主页看看
          </a>
          。在SAS9.2平台提交以下代码，Logistic回归参数估计和ROC曲线、AUC值等结果就能一起出来（有了上面的铺垫，就不惧这个黑箱了）：
         </p>
         <blockquote>
          <p>
           ods graphics on;
          </p>
          <p>
           <strong>
            proc
           </strong>
           <strong>
            logistic
           </strong>
           data=train plots(only)=roc;
          </p>
          <p>
           model good_bad=checking history duration savings property;
          </p>
          <p>
           <strong>
            run
           </strong>
           ;
          </p>
          <p>
           ods graphics off;
          </p>
         </blockquote>
         <p>
          <a href="http://cos.name/wp-content/uploads/2008/12/roccurve.png">
           <img src="http://cos.name/wp-content/uploads/2008/12/roccurve-thumb.png"/>
          </a>
         </p>
         <p>
          这个ROC图貌似还漂亮些，眼神好能看见标出来的AUC是0.8029。 最后提一句，ROC全称是Receiver Operating Characteristic Curve，中文叫“接受者操作特性曲线”，江湖黑话了（有朋友能不能出来解释一下，谁是Receiver，为什么Operating，何谓Characteristic——这个看着好像是Sensitivity和Specificity），不过并不妨碍我们使用ROC作为模型评估的工具。
         </p>
         <p>
         </p>
         <p name="_Toc218314980">
          <strong>
          </strong>
         </p>
         <strong>
          下期预告：
         </strong>
         <strong>
          Lift和Gain
         </strong>
         <p>
         </p>
         <p>
          不多说，只提一句，跟ROC类似，Lift（提升）和Gain（增益）也一样能简单地从
          <a href="http://cos.name/2008/12/measure-classification-model-performance-confusion-matrix/" target="_blank">
           以前的Confusion Matrix
          </a>
          以及Sensitivity、Specificity等信息中推导而来，也有跟一个baseline model的比较，然后也是很容易画出来，很容易解释。
         </p>
         <p>
          <strong>
           参考资料
          </strong>
          <strong>
          </strong>
         </p>
         <ol>
          <li>
           Mithat Gonen. 2007.
           <em>
            Analyzing Receiver Operating Characteristic Curves with SAS
           </em>
           . Cary, NC: SAS Institute Inc.
          </li>
          <li>
           Mike Patetta. 2008.
           <em>
            Categorical Data Analysis Using Logistic Regression Course Notes.
           </em>
           Cary, NC: SAS Institute Inc.
          </li>
          <li>
           Dan Kelly, etc. 2007.
           <em>
            Predictive Modeling Using Logistic Regression Course Notes
           </em>
           . Cary, NC: SAS Institute Inc.
          </li>
          <li>
           <em>
            Receiver operating characteristic
           </em>
           ,
           <strong>
            see
           </strong>
           <a href="http://en.wikipedia.org/wiki/Receiver_operating_characteristic">
            http://en.wikipedia.org/wiki/Receiver_operating_characteristic
           </a>
          </li>
          <li>
           <em>
            The magnificent ROC
           </em>
           ,
           <strong>
            see
           </strong>
           <a href="http://www.anaesthetist.com/mnm/stats/roc/Findex.htm">
            http://www.anaesthetist.com/mnm/stats/roc/Findex.htm
           </a>
          </li>
         </ol>
         <div class="wlWriterSmartContent" style="padding-right: 0px; display: inline; padding-left: 0px; float: none; padding-bottom: 0px; margin: 0px; padding-top: 0px">
          del.icio.us Tags:
          <a href="http://del.icio.us/popular/Wilcoxon-Mann-Whitney" rel="tag">
           Wilcoxon-Mann-Whitney
          </a>
          ,
          <a href="http://del.icio.us/popular/Confusion%20Matrix" rel="tag">
           Confusion Matrix
          </a>
          ,
          <a href="http://del.icio.us/popular/%e8%a6%86%e7%9b%96%e7%8e%87" rel="tag">
           覆盖率
          </a>
          ,
          <a href="http://del.icio.us/popular/Logistic%e5%9b%9e%e5%bd%92" rel="tag">
           Logistic回归
          </a>
          ,
          <a href="http://del.icio.us/popular/SAS" rel="tag">
           SAS
          </a>
          ,
          <a href="http://del.icio.us/popular/Sensitiveity" rel="tag">
           Sensitiveity
          </a>
          ,
          <a href="http://del.icio.us/popular/Specificity" rel="tag">
           Specificity
          </a>
          ,
          <a href="http://del.icio.us/popular/%e5%88%86%e7%b1%bb%e6%a8%a1%e5%9e%8b" rel="tag">
           分类模型
          </a>
          ,
          <a href="http://del.icio.us/popular/%e5%91%bd%e4%b8%ad%e7%8e%87" rel="tag">
           命中率
          </a>
          ,
          <a href="http://del.icio.us/popular/%e6%95%b0%e6%8d%ae%e6%8c%96%e6%8e%98" rel="tag">
           数据挖掘
          </a>
          ,
          <a href="http://del.icio.us/popular/%e6%b7%b7%e6%b7%86%e7%9f%a9%e9%98%b5" rel="tag">
           混淆矩阵
          </a>
          ,
          <a href="http://del.icio.us/popular/ROC" rel="tag">
           ROC
          </a>
          ,
          <a href="http://del.icio.us/popular/AUC" rel="tag">
           AUC
          </a>
          ,
          <a href="http://del.icio.us/popular/Receiver%20Operating%20Characteristic%20Curve" rel="tag">
           Receiver Operating Characteristic Curve
          </a>
          ,
          <a href="http://del.icio.us/popular/%e6%8e%a5%e5%8f%97%e8%80%85%e6%93%8d%e4%bd%9c%e7%89%b9%e6%80%a7%e6%9b%b2%e7%ba%bf" rel="tag">
           接受者操作特性曲线
          </a>
         </div>
         <div class="wumii-hook">
          <br/>
          <br/>
         </div>
        </div>
        <!-- .entry-content -->
        <footer class="entry-meta">
         <div class="author-info">
          <div class="author-avatar">
           <img src="http://sdn.geekzu.org/avatar/abd82db6fc93f4ed3c5ae292f4d8f0c7?s=74&amp;d=monsterid&amp;r=g"/>
          </div>
          <!-- .author-avatar -->
          <div class="author-description">
           <h2 class="author-title">
            关于胡江堂
           </h2>
           <p class="author-bio">
            胡江堂，行业/职业：医药/SAS程序员；教育背景：经济学-&gt;软件工程；学术兴趣：数据挖掘-商务智能，信用评分-数量金融、SAS-应用统计；个人主页：
            <a href="http://jiangtanghu.com//">
             http://jiangtanghu.com/
            </a>
            <a class="author-link" href="http://cos.name/author/hujiangtang/" rel="author">
             查看所有由胡江堂发表的文章
             <span class="meta-nav">
              →
             </span>
            </a>
           </p>
          </div>
          <!-- .author-description -->
         </div>
         <!-- .author-info -->
        </footer>
        <!-- .entry-meta -->
       </article>
       <!-- #post -->
       <nav class="navigation post-navigation" role="navigation">
        <h1 class="screen-reader-text">
         文章导航
        </h1>
        <div class="nav-links">
         <a href="http://cos.name/2008/12/cos-navigation-5/" rel="prev">
          <span class="meta-nav">
           ←
          </span>
          统计之都《本周导读》第五辑
         </a>
         <a href="http://cos.name/2009/01/cos-navigation-6/" rel="next">
          统计之都《本周导读》第六辑
          <span class="meta-nav">
           →
          </span>
         </a>
        </div>
        <!-- .nav-links -->
       </nav>
       <!-- .navigation -->
       <div class="comments-area" id="comments">
        <h2 class="comments-title">
         《
         <span>
          分类模型的性能评估——以SAS Logistic回归为例(2): ROC和AUC
         </span>
         》有18个想法
        </h2>
        <ol class="comment-list">
         <li class="comment even thread-even depth-1" id="comment-206">
          <article class="comment-body" id="div-comment-206">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/b6c1328c82d10ae8a525530e0abeaaaa?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              <a class="url" href="http://idmer.blog.sohu.com" rel="external nofollow">
               Sunstone
              </a>
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2008/12/measure-classification-model-performance-roc-auc/#comment-206">
              <time datetime="2008-12-31T23:23:42+00:00">
               2008/12/31 23:23
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             写得不错，说得很清楚，赞！
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给Sunstone" class="comment-reply-link" href="http://cos.name/2008/12/measure-classification-model-performance-roc-auc/?replytocom=206#respond" onclick='return addComment.moveForm( "div-comment-206", "206", "respond", "587" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
         </li>
         <!-- #comment-## -->
         <li class="comment byuser comment-author-hujiangtang bypostauthor odd alt thread-odd thread-alt depth-1" id="comment-207">
          <article class="comment-body" id="div-comment-207">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/abd82db6fc93f4ed3c5ae292f4d8f0c7?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              <a class="url" href="http://jiangtanghu.blogspot.com/" rel="external nofollow">
               胡江堂
              </a>
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2008/12/measure-classification-model-performance-roc-auc/#comment-207">
              <time datetime="2008-12-31T23:31:54+00:00">
               2008/12/31 23:31
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             to Sunstone:
            </p>
            <p>
             多谢多谢。这几年来我是一直跟踪你的博客，受益匪浅。
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给胡江堂" class="comment-reply-link" href="http://cos.name/2008/12/measure-classification-model-performance-roc-auc/?replytocom=207#respond" onclick='return addComment.moveForm( "div-comment-207", "207", "respond", "587" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
         </li>
         <!-- #comment-## -->
         <li class="comment even thread-even depth-1 parent" id="comment-213">
          <article class="comment-body" id="div-comment-213">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/2b7e6b24c2e69c01d909d4a6b5b3536e?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              simon
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2008/12/measure-classification-model-performance-roc-auc/#comment-213">
              <time datetime="2009-01-03T22:33:32+00:00">
               2009/01/03 22:33
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             很好的文章，多谢多谢啊。
             <br/>
             不知关于Lift（提升）和Gain（增益）的文章出来了没有？我找了很长时间，没有找到，呵呵
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给simon" class="comment-reply-link" href="http://cos.name/2008/12/measure-classification-model-performance-roc-auc/?replytocom=213#respond" onclick='return addComment.moveForm( "div-comment-213", "213", "respond", "587" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
          <ol class="children">
           <li class="comment odd alt depth-2 parent" id="comment-1950">
            <article class="comment-body" id="div-comment-1950">
             <footer class="comment-meta">
              <div class="comment-author vcard">
               <img src="http://sdn.geekzu.org/avatar/6fcc856a870d0a2b9763a94273758d28?s=74&amp;d=monsterid&amp;r=g"/>
               <b class="fn">
                boyFromFY
               </b>
               <span class="says">
                说道：
               </span>
              </div>
              <!-- .comment-author -->
              <div class="comment-metadata">
               <a href="http://cos.name/2008/12/measure-classification-model-performance-roc-auc/#comment-1950">
                <time datetime="2011-03-28T09:42:36+00:00">
                 2011/03/28 09:42
                </time>
               </a>
              </div>
              <!-- .comment-metadata -->
             </footer>
             <!-- .comment-meta -->
             <div class="comment-content">
              <p>
               哈哈…
               <br/>
               推荐一个基础的关于如何计算的这些指标的：
               <br/>
               <a href="http://cos.name/2008/12/measure-classification-model-performance-roc-auc/" rel="nofollow">
                http://cos.name/2008/12/measure-classification-model-performance-roc-auc/
               </a>
               <br/>
               另，我们论坛可以考虑支持群众上传，
              </p>
             </div>
             <!-- .comment-content -->
             <div class="reply">
              <a aria-label="回复给boyFromFY" class="comment-reply-link" href="http://cos.name/2008/12/measure-classification-model-performance-roc-auc/?replytocom=1950#respond" onclick='return addComment.moveForm( "div-comment-1950", "1950", "respond", "587" )' rel="nofollow">
               回复
              </a>
             </div>
            </article>
            <!-- .comment-body -->
            <ol class="children">
             <li class="comment even depth-3" id="comment-1951">
              <article class="comment-body" id="div-comment-1951">
               <footer class="comment-meta">
                <div class="comment-author vcard">
                 <img src="http://sdn.geekzu.org/avatar/6fcc856a870d0a2b9763a94273758d28?s=74&amp;d=monsterid&amp;r=g"/>
                 <b class="fn">
                  boyFromFY
                 </b>
                 <span class="says">
                  说道：
                 </span>
                </div>
                <!-- .comment-author -->
                <div class="comment-metadata">
                 <a href="http://cos.name/2008/12/measure-classification-model-performance-roc-auc/#comment-1951">
                  <time datetime="2011-03-28T09:43:46+00:00">
                   2011/03/28 09:43
                  </time>
                 </a>
                </div>
                <!-- .comment-metadata -->
               </footer>
               <!-- .comment-meta -->
               <div class="comment-content">
                <p>
                 不好意思错了，是下面这个
                 <br/>
                 <a href="http://bbs.vsharing.com/Information/EI/1330521-1.html" rel="nofollow">
                  http://bbs.vsharing.com/Information/EI/1330521-1.html
                 </a>
                </p>
               </div>
               <!-- .comment-content -->
              </article>
              <!-- .comment-body -->
             </li>
             <!-- #comment-## -->
            </ol>
            <!-- .children -->
           </li>
           <!-- #comment-## -->
          </ol>
          <!-- .children -->
         </li>
         <!-- #comment-## -->
         <li class="comment byuser comment-author-hujiangtang bypostauthor odd alt thread-odd thread-alt depth-1" id="comment-214">
          <article class="comment-body" id="div-comment-214">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/abd82db6fc93f4ed3c5ae292f4d8f0c7?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              <a class="url" href="http://jiangtanghu.blogspot.com/" rel="external nofollow">
               胡江堂
              </a>
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2008/12/measure-classification-model-performance-roc-auc/#comment-214">
              <time datetime="2009-01-03T23:37:31+00:00">
               2009/01/03 23:37
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             to simon，多谢捧场哈。Lift和Gains，计划是在下一篇，但时间不定，不妨先看看这里，http://johnthu.spaces.live.com/blog/cns!2053CD511E6D5B1E!308.entry，关于lift的，前年做的一个读书笔记，但愿有用。
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给胡江堂" class="comment-reply-link" href="http://cos.name/2008/12/measure-classification-model-performance-roc-auc/?replytocom=214#respond" onclick='return addComment.moveForm( "div-comment-214", "214", "respond", "587" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
         </li>
         <!-- #comment-## -->
         <li class="pingback even thread-even depth-1" id="comment-215">
          <div class="comment-body">
           Pingback：
           <a class="url" href="http://cos.name/2009/01/cos-navigation-5/" rel="external nofollow">
            郑冰: 统计之都《本周导读》第六辑 | 统计之都
           </a>
          </div>
         </li>
         <!-- #comment-## -->
         <li class="comment odd alt thread-odd thread-alt depth-1" id="comment-273">
          <article class="comment-body" id="div-comment-273">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/74b837863c8100f8cac9f8693cb5b03a?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              kuhasu
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2008/12/measure-classification-model-performance-roc-auc/#comment-273">
              <time datetime="2009-02-03T03:31:43+00:00">
               2009/02/03 03:31
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             Receiver Operating Characteristic Curve的叫法是因为比较了TPR和FPR
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给kuhasu" class="comment-reply-link" href="http://cos.name/2008/12/measure-classification-model-performance-roc-auc/?replytocom=273#respond" onclick='return addComment.moveForm( "div-comment-273", "273", "respond", "587" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
         </li>
         <!-- #comment-## -->
         <li class="pingback even thread-even depth-1" id="comment-288">
          <div class="comment-body">
           Pingback：
           <a class="url" href="http://cos.name/2009/02/measure-classification-model-performance-lift-gain/" rel="external nofollow">
            分类模型的性能评估——以SAS Logistic回归为例(3): Lift和Gain | 统计之都
           </a>
          </div>
         </li>
         <!-- #comment-## -->
         <li class="comment odd alt thread-odd thread-alt depth-1" id="comment-394">
          <article class="comment-body" id="div-comment-394">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/56bcf34d01081ef6bec0e471243a7e34?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              eyre
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2008/12/measure-classification-model-performance-roc-auc/#comment-394">
              <time datetime="2009-03-17T11:03:06+00:00">
               2009/03/17 11:03
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             不知用SPSS能做出ROC曲线吗？我不是专业的，冒犯了。
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给eyre" class="comment-reply-link" href="http://cos.name/2008/12/measure-classification-model-performance-roc-auc/?replytocom=394#respond" onclick='return addComment.moveForm( "div-comment-394", "394", "respond", "587" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
         </li>
         <!-- #comment-## -->
         <li class="comment even thread-even depth-1" id="comment-599">
          <article class="comment-body" id="div-comment-599">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/433ce86175b87daa93cbf563ca2949b7?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              ni
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2008/12/measure-classification-model-performance-roc-auc/#comment-599">
              <time datetime="2009-05-12T20:58:58+00:00">
               2009/05/12 20:58
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             所谓的ROC曲线，是不是可以这么理解：
             <br/>
             假定对于一个两类分类问题，根据预测模型，可以得出一个预测概率，选取不同的阈值，判定为正例或副例，得到不同的Sensitivity和Specificity。选取不同的阈值，画出Sensitivity和1-Specificity的关系曲线，就是ROC曲线了。
             <br/>
             还有些问题不清楚：
             <br/>
             （1）是不是所有的分类器都可以作出ROC曲线，如决策树、SVM。有些分类器没有这样的预测概率表达式，例如k近邻分类器，是根据紧邻样本占多数的类别判决的，怎样转化出ROC曲线？
            </p>
            <p>
             （2）ROC曲线对最佳阈值选定有没有参考作用，应该如何考虑？
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给ni" class="comment-reply-link" href="http://cos.name/2008/12/measure-classification-model-performance-roc-auc/?replytocom=599#respond" onclick='return addComment.moveForm( "div-comment-599", "599", "respond", "587" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
         </li>
         <!-- #comment-## -->
         <li class="comment odd alt thread-odd thread-alt depth-1" id="comment-662">
          <article class="comment-body" id="div-comment-662">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/8b5f20392687ee94bcd9c121ceb167ae?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              biotat
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2008/12/measure-classification-model-performance-roc-auc/#comment-662">
              <time datetime="2009-06-05T22:39:24+00:00">
               2009/06/05 22:39
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             总的不错，只是LZ对医学诊断试验不清楚，有些名词就译的不够专业，如Sensitivity是灵敏度、Specificity是特异度。
             <br/>
             ROC曲线纵轴是真阳性率(即灵敏度)，横轴是假阳性率(1-特异度)；
             <br/>
             AUC(曲线下的面积)反映了诊断试验效率好坏的重要指标，其可以计算标准误(反映抽样误差)，两个诊断试验的比较就是比较两个AUC。
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给biotat" class="comment-reply-link" href="http://cos.name/2008/12/measure-classification-model-performance-roc-auc/?replytocom=662#respond" onclick='return addComment.moveForm( "div-comment-662", "662", "respond", "587" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
         </li>
         <!-- #comment-## -->
         <li class="comment even thread-even depth-1" id="comment-1401">
          <article class="comment-body" id="div-comment-1401">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/b07924ea15504f9da3fa31483b28359c?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              ever
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2008/12/measure-classification-model-performance-roc-auc/#comment-1401">
              <time datetime="2010-04-28T15:22:36+00:00">
               2010/04/28 15:22
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             现在正在研究ROC曲线，有一个问题想请教博主，就是两条ROC曲线如何绘制在同一个坐标图里面呢？用STATA操作的话，程序怎样写？或者用sas或者R怎样实现呢？非常感谢。
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给ever" class="comment-reply-link" href="http://cos.name/2008/12/measure-classification-model-performance-roc-auc/?replytocom=1401#respond" onclick='return addComment.moveForm( "div-comment-1401", "1401", "respond", "587" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
         </li>
         <!-- #comment-## -->
         <li class="comment odd alt thread-odd thread-alt depth-1" id="comment-5123">
          <article class="comment-body" id="div-comment-5123">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/dde8a5b26e38b849e14d2b8ac84acb47?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              chole
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2008/12/measure-classification-model-performance-roc-auc/#comment-5123">
              <time datetime="2013-11-23T23:21:43+00:00">
               2013/11/23 23:21
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             《医学研究中的logistic回归分析及sas实现》，书中第7章“诊断试验中的logistic回归”，详细介绍了如何用sas 的proc logistic做诊断试验，包括ROC曲线，包括多个指标的联合诊断方法，不同诊断方法的比较等等。有兴趣的不妨一看。
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给chole" class="comment-reply-link" href="http://cos.name/2008/12/measure-classification-model-performance-roc-auc/?replytocom=5123#respond" onclick='return addComment.moveForm( "div-comment-5123", "5123", "respond", "587" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
         </li>
         <!-- #comment-## -->
         <li class="comment even thread-even depth-1" id="comment-5708">
          <article class="comment-body" id="div-comment-5708">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/0889baba907a5518e0567b7dfc6e29fb?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              brightbird
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2008/12/measure-classification-model-performance-roc-auc/#comment-5708">
              <time datetime="2014-05-14T20:49:00+00:00">
               2014/05/14 20:49
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             “我们用logistic回归模型，再给每个客户算了一个bad的概率，这个概率是用模型加以修正的概率，叫做“后验概率”（Posterior Probability）。”这里，好像讲错了。后验概率是一个条件概率，但是这里的预测概率并非条件概率，不能称为后验概率。
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给brightbird" class="comment-reply-link" href="http://cos.name/2008/12/measure-classification-model-performance-roc-auc/?replytocom=5708#respond" onclick='return addComment.moveForm( "div-comment-5708", "5708", "respond", "587" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
         </li>
         <!-- #comment-## -->
         <li class="comment odd alt thread-odd thread-alt depth-1 parent" id="comment-5709">
          <article class="comment-body" id="div-comment-5709">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/0889baba907a5518e0567b7dfc6e29fb?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              brightbird
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2008/12/measure-classification-model-performance-roc-auc/#comment-5709">
              <time datetime="2014-05-14T21:19:52+00:00">
               2014/05/14 21:19
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             SAS一步到位给出的ROC曲线及AUC统计量是根据训练样本重代入模型预测得出的，那要求解验证样本的ROC曲线和AUC统计量，怎么求？或者引入ROC曲线和AUC统计量的本意只是针对训练集精度进一步补充描述？另外，SAS建立LOGISTIC回归后如何用验证样本进行验证，这一块很少提及，哪位高手可以详解？在建模时验证样本与训练样本放在同一数据集但验证样本的因变量设置为缺失是一个方法，但是后续的数据集处理麻烦。有没有一步到位的方法呢？
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给brightbird" class="comment-reply-link" href="http://cos.name/2008/12/measure-classification-model-performance-roc-auc/?replytocom=5709#respond" onclick='return addComment.moveForm( "div-comment-5709", "5709", "respond", "587" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
          <ol class="children">
           <li class="comment even depth-2" id="comment-5710">
            <article class="comment-body" id="div-comment-5710">
             <footer class="comment-meta">
              <div class="comment-author vcard">
               <img src="http://sdn.geekzu.org/avatar/0889baba907a5518e0567b7dfc6e29fb?s=74&amp;d=monsterid&amp;r=g"/>
               <b class="fn">
                brightbird
               </b>
               <span class="says">
                说道：
               </span>
              </div>
              <!-- .comment-author -->
              <div class="comment-metadata">
               <a href="http://cos.name/2008/12/measure-classification-model-performance-roc-auc/#comment-5710">
                <time datetime="2014-05-14T21:25:25+00:00">
                 2014/05/14 21:25
                </time>
               </a>
              </div>
              <!-- .comment-metadata -->
             </footer>
             <!-- .comment-meta -->
             <div class="comment-content">
              <p>
               如果像这一系列的《混淆矩阵》一文介绍的方法——把模型求解出来再用data步求验证结果，这样针对属性为多类别的自变量数据，貌似不可行（针对这种数据，在建模时，logistic过程步会自动引入哑变量）。
              </p>
             </div>
             <!-- .comment-content -->
             <div class="reply">
              <a aria-label="回复给brightbird" class="comment-reply-link" href="http://cos.name/2008/12/measure-classification-model-performance-roc-auc/?replytocom=5710#respond" onclick='return addComment.moveForm( "div-comment-5710", "5710", "respond", "587" )' rel="nofollow">
               回复
              </a>
             </div>
            </article>
            <!-- .comment-body -->
           </li>
           <!-- #comment-## -->
          </ol>
          <!-- .children -->
         </li>
         <!-- #comment-## -->
         <li class="comment odd alt thread-even depth-1" id="comment-5712">
          <article class="comment-body" id="div-comment-5712">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/37e73a217461fb6ceab172f6d3f012d5?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              <a class="url" href="http://zhouleyu.com" rel="external nofollow">
               zhouleyu.com
              </a>
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2008/12/measure-classification-model-performance-roc-auc/#comment-5712">
              <time datetime="2014-05-15T15:36:27+00:00">
               2014/05/15 15:36
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             如果像这一系列的《混淆矩阵》一文介绍的方法——把模型求解出来再用data步求验证结果，这样针对属性为多类别的自变量数据，貌似不可行（针对这种数据，在建模时，logistic过程步会自动引入哑变量）。
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给zhouleyu.com" class="comment-reply-link" href="http://cos.name/2008/12/measure-classification-model-performance-roc-auc/?replytocom=5712#respond" onclick='return addComment.moveForm( "div-comment-5712", "5712", "respond", "587" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
         </li>
         <!-- #comment-## -->
        </ol>
        <!-- .comment-list -->
        <div class="comment-respond" id="respond">
         <h3 class="comment-reply-title" id="reply-title">
          发表评论
          <small>
           <a href="http://cos.name/2008/12/measure-classification-model-performance-roc-auc/#respond" id="cancel-comment-reply-link" rel="nofollow" style="display:none;">
            取消回复
           </a>
          </small>
         </h3>
         <form action="http://cos.name/wp-comments-post.php" class="comment-form" id="commentform" method="post" novalidate="">
          <p class="comment-notes">
           <span id="email-notes">
            电子邮件地址不会被公开。
           </span>
           必填项已用
           <span class="required">
            *
           </span>
           标注
          </p>
          <p class="comment-form-comment">
           <label for="comment">
            评论
           </label>
           <textarea aria-required="true" cols="45" id="comment" maxlength="65525" name="comment" required="required" rows="8">
           </textarea>
          </p>
          <p class="comment-form-author">
           <label for="author">
            姓名
            <span class="required">
             *
            </span>
           </label>
          </p>
          <p class="comment-form-email">
           <label for="email">
            电子邮件
            <span class="required">
             *
            </span>
           </label>
          </p>
          <p class="comment-form-url">
           <label for="url">
            站点
           </label>
          </p>
          <p class="form-submit">
          </p>
          <p style="display: none;">
          </p>
          <p style="display: none;">
          </p>
         </form>
        </div>
        <!-- #respond -->
       </div>
       <!-- #comments -->
      </div>
      <!-- #content -->
     </div>
     <!-- #primary -->
     <div class="sidebar-container" id="tertiary" role="complementary">
      <div class="sidebar-inner">
       <div class="widget-area">
        <aside class="widget widget_text" id="text-3">
         <h3 class="widget-title">
          关注统计之都
         </h3>
         <div class="textwidget">
          <ul>
           <li>
            新浪微博
            <a href="http://weibo.com/cosname">
             @统计之都
            </a>
           </li>
           <li>
            人人网
            <a href="http://renren.com/cosname">
             @统计之都
            </a>
           </li>
           <li>
            Twitter
            <a href="http://twitter.com/cos_name">
             @cos_name
            </a>
           </li>
          </ul>
         </div>
        </aside>
        <aside class="widget widget_text" id="text-6">
         <h3 class="widget-title">
          微信公众平台
         </h3>
         <div class="textwidget">
          <img src="http://cos.name/wp-content/uploads/2013/04/qrcode-8cm.jpg"/>
          <p style="font-size:12px;margin-left:15px">
           微信号 CapStat
          </p>
          <p>
           我们将第一时间向您推送主站和论坛的精彩内容，以及统计之都的线下活动、竞赛、培训和会议信息。
          </p>
         </div>
        </aside>
        <aside class="widget widget_text" id="text-8">
         <h3 class="widget-title">
          站内导航
         </h3>
         <div class="textwidget">
          <ul>
           <li class="page_item">
            <a href="http://cos.name/cn/">
             中文论坛
            </a>
           </li>
           <li class="page_item">
            <a href="http://cos.name/videos/">
             视频
            </a>
           </li>
           <li class="page_item">
            <a href="http://cos.name/salon/">
             统计沙龙
            </a>
           </li>
           <li class="page_item">
            <a href="http://cos.name/books/">
             图书出版
            </a>
           </li>
           <li class="page_item">
            <a href="http://cos.name/training/">
             教育培训
            </a>
           </li>
           <li class="page_item">
            <a href="http://cos.name/about/">
             关于我们
            </a>
           </li>
           <li class="page_item">
            <a href="http://cos.name/donate/">
             捐赠
            </a>
           </li>
           <li class="page_item">
            <a href="http://cos.name/chinar/">
             R语言会议
            </a>
           </li>
          </ul>
         </div>
        </aside>
        <aside class="widget widget_links" id="linkcat-2">
         <h3 class="widget-title">
          友情链接
         </h3>
         <ul class="xoxo blogroll">
          <li>
           <a href="http://stat.ruc.edu.cn" target="_blank" title="中国人民大学统计学院网站">
            中国人民大学统计学院
           </a>
          </li>
          <li>
           <a href="http://rucdmc.net">
            中国人民大学数据挖掘中心
           </a>
          </li>
          <li>
           <a href="http://birc.gsm.pku.edu.cn/" target="_blank">
            北京大学商务智能研究中心
           </a>
          </li>
          <li>
           <a href="http://sam.cufe.edu.cn/" target="_blank" title="中央财经大学统计与数学学院网站">
            中央财经大学统计与数学学院
           </a>
          </li>
          <li>
           <a href="http://tjx.cueb.edu.cn/" target="_blank" title="首都经济贸易大学统计学院网站">
            首经贸统计学院
           </a>
          </li>
          <li>
           <a href="http://www.shookr.com/">
            数客网大数据社区
           </a>
          </li>
          <li>
           <a href="http://www.xueqing.tv/" target="_blank" title="数据科学在线学习平台">
            雪晴数据网
           </a>
          </li>
          <li>
           <a href="http://iera.name/" target="_blank" title="IERA是一个旨在普及、传播和增进工业工程知识的非营利性网站">
            IERA（直通IE）
           </a>
          </li>
         </ul>
        </aside>
        <aside class="widget widget_categories" id="categories-2">
         <h3 class="widget-title">
          全部分类
         </h3>
         <label class="screen-reader-text" for="cat">
          全部分类
         </label>
         <select class="postform" id="cat" name="cat">
          <option value="-1">
           选择分类目录
          </option>
          <option class="level-0" value="925">
           cos访谈  (4)
          </option>
          <option class="level-0" value="659">
           图书出版  (5)
          </option>
          <option class="level-0" value="379">
           数学方法  (14)
          </option>
          <option class="level-1" value="381">
           分析与代数  (1)
          </option>
          <option class="level-1" value="380">
           概率论  (9)
          </option>
          <option class="level-1" value="382">
           随机过程  (5)
          </option>
          <option class="level-0" value="210">
           数据分析  (81)
          </option>
          <option class="level-1" value="203">
           多元统计  (3)
          </option>
          <option class="level-1" value="42">
           数据挖掘与机器学习  (42)
          </option>
          <option class="level-1" value="36">
           生物与医学统计  (17)
          </option>
          <option class="level-1" value="35">
           计量经济学  (4)
          </option>
          <option class="level-1" value="296">
           金融统计  (3)
          </option>
          <option class="level-1" value="303">
           风险精算  (7)
          </option>
          <option class="level-0" value="177">
           模型专题  (15)
          </option>
          <option class="level-1" value="38">
           回归分析  (10)
          </option>
          <option class="level-1" value="41">
           时间序列  (2)
          </option>
          <option class="level-0" value="784">
           每周精选  (24)
          </option>
          <option class="level-1" value="183">
           可视化  (9)
          </option>
          <option class="level-0" value="967">
           沙龙纪要  (3)
          </option>
          <option class="level-0" value="18">
           经典理论  (46)
          </option>
          <option class="level-1" value="37">
           抽样调查  (3)
          </option>
          <option class="level-1" value="4">
           统计推断  (26)
          </option>
          <option class="level-1" value="236">
           试验设计  (7)
          </option>
          <option class="level-1" value="39">
           非参数统计  (3)
          </option>
          <option class="level-0" value="1">
           统计之都  (279)
          </option>
          <option class="level-1" value="884">
           中国R会议  (2)
          </option>
          <option class="level-1" value="885">
           中国R语言会议  (5)
          </option>
          <option class="level-1" value="446">
           出国留学  (3)
          </option>
          <option class="level-1" value="179">
           推荐文章  (90)
          </option>
          <option class="level-1" value="3">
           新闻通知  (75)
          </option>
          <option class="level-1" value="263">
           统计刊物  (10)
          </option>
          <option class="level-1" value="174">
           网站导读  (40)
          </option>
          <option class="level-1" value="204">
           职业事业  (51)
          </option>
          <option class="level-1" value="213">
           高校课堂  (9)
          </option>
          <option class="level-0" value="178">
           统计计算  (28)
          </option>
          <option class="level-1" value="40">
           优化与模拟  (15)
          </option>
          <option class="level-1" value="43">
           贝叶斯方法  (6)
          </option>
          <option class="level-0" value="378">
           软件应用  (116)
          </option>
          <option class="level-1" value="44">
           统计图形  (36)
          </option>
          <option class="level-1" value="110">
           统计软件  (83)
          </option>
         </select>
        </aside>
        <aside class="widget widget_recent_comments" id="recent-comments-2">
         <h3 class="widget-title">
          最新评论
         </h3>
         <ul id="recentcomments">
          <li class="recentcomments">
           <span class="comment-author-link">
            fineboom
           </span>
           发表在《
           <a href="http://cos.name/2016/06/use-shiny-fleetly-set-up-visual-prototype-system/#comment-7317">
            利用shiny包快速搭建可视化原型系统
           </a>
           》
          </li>
          <li class="recentcomments">
           <span class="comment-author-link">
            胡家新
           </span>
           发表在《
           <a href="http://cos.name/2016/06/r%e8%af%ad%e5%8d%83%e5%af%bb%e7%ac%ac%e4%b8%89%e6%9c%9f%ef%bc%9a%e5%bc%a0%e6%97%a0%e5%bf%8c%e7%a9%b6%e7%ab%9f%e7%88%b1%e8%b0%81%ef%bc%9f/#comment-7316">
            R语千寻第三期：张无忌究竟爱谁？
           </a>
           》
          </li>
          <li class="recentcomments">
           <span class="comment-author-link">
            <a class="url" href="http://www.zijiacha.com/category.php?id=6" rel="external nofollow">
             南糯山普洱茶
            </a>
           </span>
           发表在《
           <a href="http://cos.name/2016/06/r%e8%af%ad%e5%8d%83%e5%af%bb%e7%ac%ac%e4%b8%89%e6%9c%9f%ef%bc%9a%e5%bc%a0%e6%97%a0%e5%bf%8c%e7%a9%b6%e7%ab%9f%e7%88%b1%e8%b0%81%ef%bc%9f/#comment-7315">
            R语千寻第三期：张无忌究竟爱谁？
           </a>
           》
          </li>
          <li class="recentcomments">
           <span class="comment-author-link">
            J
           </span>
           发表在《
           <a href="http://cos.name/2016/05/value-of-the-reputation-from-the-data/#comment-7314">
            数据告诉你：高信誉的卖家应该收高价，还是收低价？
           </a>
           》
          </li>
          <li class="recentcomments">
           <span class="comment-author-link">
            <a class="url" href="http://gg" rel="external nofollow">
             Hilda
            </a>
           </span>
           发表在《
           <a href="http://cos.name/2013/01/drawing-map-in-r-era/#comment-7311">
            R时代，你要怎样画地图？
           </a>
           》
          </li>
         </ul>
        </aside>
        <aside class="widget widget_rss" id="rss-282869971">
         <h3 class="widget-title">
          <a class="rsswidget" href="http://cos.name/cn/topics/feed/">
           <img src="http://cos.name/wp-includes/images/rss.png"/>
          </a>
          <a class="rsswidget" href="http://cos.name/cn/topics/feed/">
           中文论坛新帖
          </a>
         </h3>
         <ul>
          <li>
           <a class="rsswidget" href="http://cos.name/cn/topic/417372/">
            处理时间数据和产生时间序列的问题
           </a>
          </li>
          <li>
           <a class="rsswidget" href="http://cos.name/cn/topic/6790/">
            《统计陷阱》下载 （How to lie with statistics）
           </a>
          </li>
          <li>
           <a class="rsswidget" href="http://cos.name/cn/topic/818/">
            统计学的世界（第五版）
           </a>
          </li>
          <li>
           <a class="rsswidget" href="http://cos.name/cn/topic/16574/">
            class(x) 返回值值是AsIs,AsIs代表什么，有什么用处？
           </a>
          </li>
          <li>
           <a class="rsswidget" href="http://cos.name/cn/topic/417366/">
            如何用R绘制一个分类算法的决策规则
           </a>
          </li>
         </ul>
        </aside>
        <aside class="widget widget_text" id="text-2">
         <h3 class="widget-title">
          登录/RSS
         </h3>
         <div class="textwidget">
          <ul>
           <li>
            <a href="http://cos.name/wp-admin/">
             登录
            </a>
           </li>
           <li>
            <a href="http://cos.name/feed/" title="使用 RSS 2.0 同步站点内容">
             文章
             <abbr title="Really Simple Syndication">
              RSS
             </abbr>
            </a>
           </li>
           <li>
            <a href="http://cos.name/comments/feed/" title="RSS 上的最近评论">
             评论
             <abbr title="Really Simple Syndication">
              RSS
             </abbr>
            </a>
           </li>
          </ul>
         </div>
        </aside>
       </div>
       <!-- .widget-area -->
      </div>
      <!-- .sidebar-inner -->
     </div>
     <!-- #tertiary -->
    </div>
    <!-- #main -->
    <footer class="site-footer" id="colophon" role="contentinfo">
     <div class="site-info">
      版权所有 © 2014 统计之都 | 由
      <a href="http://wordpress.org/">
       WordPress
      </a>
      构建 | 主题修改自
      <a href="http://wordpress.org/themes/twentythirteen">
       Twenty Thirteen
      </a>
     </div>
     <!-- .site-info -->
    </footer>
    <!-- #colophon -->
   </div>
   <!-- #page -->
   <p style="margin:0;padding:0;height:1px;overflow:hidden;">
    <a href="http://www.wumii.com/widget/relatedItems" style="border:0;">
     <img src="http://static.wumii.cn/images/pixel.png"/>
    </a>
   </p>
  </div>
 </body>
</html>